Spencer bertemu dengan bekas bintang bersama dalam drama House Jennifer Morrison pada Mac 2004 di Lapangan Terbang Antarabangsa Vancouver , ketika dalam perjalanan untuk penggambaran episod pertama House sebelum mula berpacaran pada Julai 2004.

Mereka bertunang pada 23 Disember 2006 di Paris. Spencer dan Morrison juga mendedahkan bahawa mereka bercadang untuk berkahwin di sebuah estet peribadi di Los Angeles kemudiannya pada tahun 2007. Bagaimanapun, pada Ogos 2007, pasangan tersebut mengumumkan pembatalan pertunangan mereka.[3] Setelah berpacaran selama beberapa bulan, Spencer muncul di Anugerah Emmy 2008 bersama-sama penyanyi British Louise Griffiths. Selepas setahun setengah bersama, pasangan itu berpisah pada April 2010.[petikan diperlukan]